home *** CD-ROM | disk | FTP | other *** search
/ Columbia Kermit / kermit.zip / bench / x.txt / 000032_fdc@watsun.cc.columbia.edu_Fri Oct 5 10:37:37 EDT 2001.msg < prev    next >
Text File  |  2020-01-01  |  5KB  |  151 lines
  1. Article: 12840 of comp.protocols.kermit.misc
  2. Path: newsmaster.cc.columbia.edu!watsun.cc.columbia.edu!fdc
  3. From: fdc@watsun.cc.columbia.edu (Frank da Cruz)
  4. Newsgroups: comp.unix.aix,comp.protocols.kermit.misc
  5. Subject: Re: ftp download with help of a file
  6. Date: 5 Oct 2001 14:35:38 GMT
  7. Organization: Columbia University
  8. Lines: 134
  9. Message-ID: <9pkgfq$ipf$1@newsmaster.cc.columbia.edu>
  10. References: <5e23bad3.0110050335.3c8e127@posting.google.com>
  11. NNTP-Posting-Host: watsun.cc.columbia.edu
  12. X-Trace: newsmaster.cc.columbia.edu 1002292538 19247 128.59.39.2 (5 Oct 2001 14:35:38 GMT)
  13. X-Complaints-To: postmaster@columbia.edu
  14. NNTP-Posting-Date: 5 Oct 2001 14:35:38 GMT
  15. Xref: newsmaster.cc.columbia.edu comp.unix.aix:223793 comp.protocols.kermit.misc:12840
  16.  
  17. In article <5e23bad3.0110050335.3c8e127@posting.google.com>,
  18. antonio <antonio.napoleone@bedag.ch> wrote:
  19.  
  20. : We download datfiles for virusengines via ftp. Usually we are doing this
  21. : automatically, but since a while we are having problems by getting several
  22. : files in the same remotedirectory with the mget-command.  In some
  23. : directorys, downloading of those files works fine but in other not.  Now i
  24. : try to download file by file, but i'm not very experienced in doing this.
  25. : What i do is getting the FILELIST from the remoteserver and figure out the
  26. : filenames with help of the grep and awk commands. Now my list looks like
  27. : this:
  28. : 
  29. : AVH32DLL.DL_
  30. : VIRSIG.DA_
  31. : VIRINFO.DA_
  32. : README.TX_
  33. : 
  34. : Is it possible to connect to the ftp-host, get each filename from the
  35. : list, download it and close the connection, after i dowloaded every
  36. : file, or do i have to connect, get 1 file, close, and so on.
  37. : 
  38. This would require a bit more flexibility than you'll find in the regular
  39. FTP client.  C-Kermit 8.0:
  40.  
  41.   http://www.columbia.edu/kermit/ck80.html
  42.  
  43. includes a new scriptable FTP client that will let you do this:
  44.  
  45.   http://www.columbia.edu/kermit/ftpclient.html
  46.  
  47. A scripting tutorial is here:
  48.  
  49.   http://www.columbia.edu/kermit/ckscripts.html
  50.  
  51. And an FTP-specific scripting tutorial is here:
  52.  
  53.   http://www.columbia.edu/kermit/ftpscripts.html
  54.  
  55. And complete documentation is here:
  56.  
  57.   http://www.columbia.edu/kermit/ckermit3.html#x3
  58.  
  59. Here is a script that gets the list of filenames:
  60.  
  61.   cd somelocaldirectory
  62.   ftp open foo.bar.com /user:myname /password:secret
  63.   if fail exit 1 Can't reach host
  64.   if not \v(ftp_loggedin) exit 1 FTP login failed
  65.   ftp cd blah/blah/somepath
  66.   if fail exit 1 Directory change failed
  67.   ftp get /namelist:mylist
  68.   if fail exit 1 Can't get list of filenames
  69.   ftp bye  
  70.  
  71. Obviously we don't recommend putting passwords in scripts; better methods
  72. are available.  The method shown above was chosen for brevity.  If you
  73. are using anonymous ftp, the command would be:
  74.  
  75.   ftp open foo.bar.com /anonymous
  76.  
  77. Now you have the list of filenames in the local file called 'mylist'.
  78. At this point, you should consider what you want to do with it.  One
  79. strategy, as you suggest, is to open a new FTP session for each file.
  80. This can be done as follows (still in Kermit):
  81.  
  82.   fopen /read \%c myfile
  83.   if fail exit 1 Can't open file list
  84.   while not \f_eof(\%c) {
  85.       fread /line \%c filename
  86.       if fail break
  87.       ftp open foo.bar.com /user:myname /password:secret
  88.       if fail exit 1 Can't reach host
  89.       if not \v(ftp_loggedin) exit 1 FTP login failed
  90.       ftp cd blah/blah/somepath
  91.       ftp get \m(filename)
  92.       if fail exit 1 \m(filename): Download failed
  93.       ftp bye
  94.   }
  95.  
  96. This is a sort of brute-force attack, and I'm not sure it does what you
  97. want anyway.  What happens if a download fails on a particular file?
  98.  
  99. Here is a more elegant solution:
  100.  
  101.   cd somelocaldirectory
  102.   delete *
  103.   ftp open foo.bar.com /user:myname /password:secret
  104.   if fail exit 1 Can't reach host
  105.   if not \v(ftp_loggedin) exit 1 FTP login failed
  106.   ftp cd blah/blah/somepath
  107.   if fail exit 1 Directory change failed
  108.   while true {
  109.       ftp get /update *      
  110.       if success break
  111.   }
  112.   ftp bye  
  113.  
  114. Here we clean out any old copies of the files, make the FTP connection to
  115. the server, cd to the desired server directory, and ask it to send us all
  116. the files in update mode.  This means: if I already have a current copy of
  117. a file, don't bother to send it, but if I don't, then please do send it.
  118.  
  119. If this succeeds, we're done.  If it fails, we try again, automatically
  120. skipping the files that were sent previously, and so on until all the files
  121. have been sent.
  122.  
  123. We can make this script both more robust and more efficient:
  124.  
  125.   cd somelocaldirectory
  126.   delete *
  127.  
  128.   while true {
  129.       ftp open foo.bar.com /user:myname /password:secret
  130.       if fail exit 1 Can't reach host
  131.       if not \v(ftp_loggedin) exit 1 FTP login failed
  132.       ftp cd blah/blah/somepath
  133.       if fail exit 1 Directory change failed
  134.       while true {
  135.       ftp get /recover /update *      
  136.       if success goto done
  137.       if not \v(ftp_connected) break
  138.       }
  139.       ftp bye  
  140.   }
  141.   done:
  142.   
  143. This allows for the case when the connection is lost.  When this happens,
  144. the script automatically goes back and reestablishes the connection and
  145. restarts the download; if the connection is not lost, however, it does not
  146. needlessly break the connection and reestablish it.  In case a long file was
  147. interrupted in the middle, the /RECOVER option makes the download resume
  148. from the point of failure.
  149.  
  150. - Frank
  151.